Järvi sinh ra ở Tallinn, Estonia, mẹ ông là Liilia Järvi còn cha là nhạc trưởng người Estonia Neeme Järvi. Anh chị em của ông bao gồm Kristjan Järvi và Maarika Järvi, đều là những nhạc sĩ. Sau khi rời Estonia, gia đình ông định cư ở Mỹ. Järvi học một thầy một trò với Leonid Grin ở Philadelphia tại Học viện Âm nhạc Curtis với Max Rudolf và Otto-Werner Mueller, cũng như tại Học viện Giao hưởng Los Angeles với Leonard Bernstein.